我们有兴趣从数据不足的情况下学习强大的模型,而无需任何外部预训练的检查点。首先,与足够的数据相比,我们展示了为什么数据不足会使模型更容易偏向于通常不同于测试的有限培训环境。例如,如果所有训练天鹅样本都是“白色”,则该模型可能错误地使用“白色”环境来代表内在的天鹅。然后,我们证明,均衡感应偏差可以保留类功能,而不变性电感偏差可以消除环境功能,从而使类功能概括为测试中的任何环境变化。为了将它们强加于学习,我们证明可以部署任何基于现成的基于对比度的自我监督特征学习方法;对于不变性,我们提出了一个范围的不变风险最小化(IRM),该风险最小化(IRM)有效地应对常规IRM中缺少环境注释的挑战。对现实世界基准(Vipriors,Imagenet100和Nico)的最新实验结果验证了在数据效率学习中的巨大潜力和不变性的潜力。该代码可从https://github.com/wangt-cn/eqinv获得
translated by 谷歌翻译
Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.
translated by 谷歌翻译
联合学习(FL),其中多个机构在不共享数据的情况下协作训练机器学习模型正在变得流行。参与机构可能不会平等地做出贡献,有些贡献了更多的数据,一些更好的质量数据或一些更多样化的数据。为了公平地排名不同机构的贡献,沙普利价值(SV)已成为选择方法。精确的SV计算非常昂贵,尤其是在有数百个贡献者的情况下。现有的SV计算技术使用近似值。但是,在医疗保健中,贡献机构的数量可能不是巨大的规模,计算精确的SVS仍然很昂贵,但并非不可能。对于此类设置,我们提出了一种称为Safe的高效SV计算技术(用于使用Enembly的联合学习的Shapley值)。我们从经验上表明,安全计算接近精确SV的值,并且其性能优于当前SV近似值。这在医学成像环境中尤其重要,在医学成像环境中,整个机构之间的广泛异质性猖ramp,并且需要快速准确的数据评估来确定每个参与者在多机构协作学习中的贡献。
translated by 谷歌翻译
估计分配转移的基于软件AI的医疗设备的测试性能对于评估临床部署之前的安全性,效率和可用性至关重要。由于受管制的医疗设备软件的性质以及获取大量标记的医疗数据集的困难,我们考虑了在未标记的目标域上预测任意黑框模型的测试准确性的任务,而无需修改原始培训过程或原始训练过程或原始源数据的任何分布假设(即,我们将模型视为“黑框”,仅使用预测的输出响应)。我们在几种临床上相关的分配转移类型(机构,硬件扫描仪,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,Atlas,乳房X线摄影,皮肤病学和组织病理学)下,提出了一种基于共形预测的“黑盒”测试估计技术,并根据三个医学成像数据集(乳房X线摄影,皮肤病学和组织病理学)对其他方法进行评估。医院)。我们希望通过促进黑盒模型的实用有效估计技术,医疗设备的制造商将制定更标准化和现实的评估程序,以提高临床AI工具的鲁棒性和可信度。
translated by 谷歌翻译
乳腺癌是最常见的癌症,乳房X线摄影筛查的早期检测对于改善患者预后至关重要。评估乳房X线乳房密度在临床上很重要,因为浓密的乳房具有更高的风险,并且更有可能阻塞肿瘤。专家的手动评估既耗时又受评估者间的可变性。因此,对乳房X线乳房密度评估的深度学习方法的发展有所增加。尽管深度学习在乳房X线摄影的应用中表现出了令人印象深刻的表现,但在仍然相对较少的深度学习系统中的临床部署中;从历史上看,乳房X线摄影计算机辅助诊断(CAD)已过分宣传,无法提供。这部分是由于无法直观地量化临床医生算法的不确定性,这将大大提高可用性。共形预测非常适合增加对深度学习工具的可靠和信任,但它们缺乏对医疗数据集的现实评估。在本文中,我们介绍了应用于医学成像任务的三个可能应用的详细分析:分配转移表征,预测质量的改善和亚组公平分析。我们的结果表明,无分配不确定性量化技术的潜力可以增强对AI算法的信任并加快其翻译为使用。
translated by 谷歌翻译
深度学习(DL)模型为各种医学成像基准挑战提供了最先进的性能,包括脑肿瘤细分(BRATS)挑战。然而,局灶性病理多隔室分割(例如,肿瘤和病变子区)的任务特别具有挑战性,并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性,可以实现最不确定的地区的临床审查,从而建立信任并铺平临床翻译。最近,已经引入了许多不确定性估计方法,用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中,我们探索并评估在Brats 2019-2020任务期间开发的公制,以对不确定量化量化(Qu-Brats),并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制(1)奖励不确定性估计,对正确断言产生高置信度,以及在不正确的断言处分配低置信水平的估计数,(2)惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性,所有这些都参与了主要的Brats细分任务。总体而言,我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值,因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。
translated by 谷歌翻译
人工智能将人工智能融入临床工作流程需要可靠且强大的模型。鲁棒性的主要特征是可重复性。在不评估模型重复性的情况下,给予分类性能很多,导致在实践中不可用的模型开发。在这项工作中,我们评估了在同一访问期间获得的同一患者的四种模型类型的可重复性。我们研究了三个医学图像分析任务的二进制,多级,序数和回归模型的性能:宫颈癌筛查,乳房密度估计和早产分类视网膜病变。此外,我们评估采样蒙特卡罗辍学预测在分类性能和可重复性上的测试时间的影响。利用Monte Carlo预测,为二元,多级和序数模型的所有任务的重复性显着提高,导致平均减少95%协议限额17%的分数。
translated by 谷歌翻译
培训深神经网络(DNNS)在企业和云数据中心都广受欢迎。现有的DNN培训调度程序将GPU视为主要资源,并分配其他资源,例如CPU和内存与作业要求的GPU数量成正比。不幸的是,这些调度程序不考虑作业对CPU,内存和存储资源分配的敏感性的影响。在这项工作中,我们提出了Synergy,这是一种对共享GPU群集的资源敏感调度程序。通过乐观的分析,协同作用侵犯了DNN对不同资源的敏感性;某些工作可能会从GPU育儿分配中受益更多,而某些工作可能不会受到GPU育儿分配的影响。 Synergy使用新的近乎最佳的在线算法在共享的多租户集群上安排的一组作业进行了多余的工作量感知作业。我们的实验表明,与传统的GPU育儿计划相比,工作量感知的CPU和内存分配可以提高平均JCT高达3.4倍。
translated by 谷歌翻译
尽管对临床机器学习研究有强烈的关注和相当大的投资,但在现实世界的临床环境中,在大规模的应用中已经部署了相对较少的应用。虽然研究在推进最先进的情况下很重要,但翻译同样重要的是,使这些技术和技术能够最终影响医疗保健。我们认为对几个考虑缺乏升值是在期望和现实之间这种差异的主要原因。为了更好地描述研究人员和从业者之间的整体视角,我们调查了几个从业人员在开发CML中进行临床部署的商业经验。使用这些洞察力,我们确定了几个主要类别的挑战,以便更好地设计和开发临床机学习应用。
translated by 谷歌翻译
联合学习是一个新兴的研究范式,用于在不共享患者数据的情况下启用协作培训深层学习模型。然而,来自不同机构的数据通常在机构中是异构的,这可能会降低使用联合学习培训的模型的性能。在这项研究中,我们提出了一种新的异质性感知联邦学习方法,克萨诸塞州,克服了联邦学习中数据异质性的性能下降。与需要复杂启发式培训或超参数调整的之前的联合方法不同,我们的Splitavg利用简单的网络分割和特征映射串联策略,以鼓励联合模型培训目标数据分布的无偏估计。我们使用七个最先进的联合学习方法进行比较Splitavg,使用中央托管的培训数据作为基准在综合和现实世界联邦数据集的套件上。我们发现,使用所有比较联合学习方法训练的模型的性能随着数据异质性的增加而显着降低。相比之下,SplitavG方法在所有异质设置下实现了与基线方法的可比结果,即它达到了糖尿病视网膜病变二进制分类数据集和骨骼年龄预测数据集的基线所获得的精度的96.2%和110.4%的平均绝对误差分别在高度异构的数据分区上。我们得出结论,拆分方法可以有效地克服跨机构数据分布的可变性的性能下降。实验结果还表明,Splitavg可以适用于不同的基础网络并广泛地到各种类型的医学成像任务。
translated by 谷歌翻译